针对现有的人体行为识别算法不能充分利用网络多层次时空信息的问题，提出了一种基于三维残差稠密网络的人体行为识别算法。首先，所提算法使用三维残差稠密块作为网络的基础模块，模块通过稠密连接的卷积层提取人体行为的层级特征；其次，经过局部特征聚合自适应方法来学习人体行为的局部稠密特征；然后，应用残差连接模块来促进特征信息流动以及减轻训练的难度；最后，通过级联多个三维残差稠密块实现网络多层局部特征提取，并使用全局特征聚合自适应方法学习所有网络层的特征用以实现人体行为识别。设计的网络算法在结构上增强了对网络多层次时空特征的提取，充分利用局部和全局特征聚合学习到更具辨识力的特征，增强了模型的表达能力。在基准数据集KTH和UCF-101上的大量实验结果表明，所提算法的识别率（top-1精度）分别达到了93.52％和57.35％，与三维卷积神经网络（C3D）算法相比分别提升了3.93和13.91个百分点。所提算法框架有较好的鲁棒性和迁移学习能力，能够有效地处理多种视频行为识别任务。